1.1 $\LA$

若 $C_+ = \varnothing$, 则所有状态都为非常返或零常返, 由定理 3.5.1, $\nlim \bm P^n = \bm 0$.

若存在平稳分布 $\bm \pi \ne 0$, 则 $\bm \pi = \bm \pi \bm P^n = \bm \pi \nlim \bm P^n = \bm 0$, 因此不存在平稳分布.

1.2 $\RA$

若 $C_+ \ne \varnothing$, 不妨设 $C_+ = C$ 只有一个正常返的闭集, 于是该马氏链限制在 $C$ 上存在一平稳分布 $\bm \pi_1$, 于是 $\bm \pi$ 是平稳分布.

2.1 $\LA$

类似定理 3.5.4 可证明该马氏链存在唯一的平稳分布.

2.2 $\RA$

若存在平稳分布, 则由第一点知 $C_+ \ne \varnothing$.

若 $C_+ = C_a \cup C_b$, 则一步转移概率矩阵可写为

类似定理 3.5.4 可证明存在 $\bm \pi_1$ 和 $\bm \pi_2$, 使得 $\bm \pi_1 = \bm \pi_1 \bm P_1$, $\bm \pi_2 = \bm \pi_2 \bm P_2$.

于是 $(\bm \pi_1, \bm 0, \bm 0)$ 和 $(\bm 0, \bm \pi_2, \bm 0)$ 都是平稳分布, 与平稳分布的唯一性矛盾.

因此 $C_+$ 是基本常返闭集. 证毕.

3. 由定理 3.5.1 的推论 1, 有限状态马氏链总存在正常返状态, 即 $C_+ \ne \varnothing$, 从而必存在平稳分布.

4. 不可约的马氏链都是正常返的, 于是由定理 3.5.6 即得.

证毕.